NVIDIA DeepStream SDK

1. 서론: 지능형 비디오 분석의 패러다임 전환

현대 산업 환경에서 시각적 데이터는 폭발적으로 증가하고 있다. 스마트 시티의 교통 관제용 CCTV, 리테일 매장의 고객 행동 분석 카메라, 제조 현장의 자동 광학 검사(AOI) 센서 등 수천만 개의 엣지(Edge) 디바이스가 매초 페타바이트(PB) 규모의 비디오 데이터를 생성하고 있다. 과거의 중앙 집중형 CPU 기반 처리 방식은 이러한 데이터의 양과 속도를 감당하기에 이미 한계에 봉착했다. 대역폭 병목, 높은 지연 시간(Latency), 그리고 과도한 클라우드 스토리지 비용은 실시간 의사결정을 저해하는 주요 요인이 되었다.

이러한 배경 속에서 NVIDIA DeepStream SDK는 AI 기반 지능형 비디오 분석(IVA, Intelligent Video Analytics)을 위한 핵심 플랫폼으로 부상했다. DeepStream은 픽셀 데이터를 단순한 이미지가 아닌 ’행동 가능한 통찰력(Actionable Insights)’으로 변환하는 엔드투엔드(End-to-End) 파이프라인 구축을 지원한다.1 이는 단순한 멀티미디어 프레임워크가 아니라, NVIDIA의 GPU 아키텍처, 딥러닝 가속기(DLA), 그리고 엣지-투-클라우드 통신 프로토콜을 유기적으로 결합한 통합 솔루션이다.

본 보고서는 DeepStream SDK의 내부 아키텍처를 심층적으로 분석하고, GStreamer 기반의 플러그인 시스템이 어떻게 하드웨어 가속을 극대화하는지 규명한다. 또한, 최신 릴리스인 DeepStream 8.0에 도입된 혁신적인 기능들—CUDA Green Contexts, Inference Builder, 차세대 추적 알고리즘—을 상세히 기술하고, 이를 통해 기업이 얻을 수 있는 기술적, 경제적 이점을 논한다. 모든 분석은 제공된 연구 자료와 업계 표준 기술 지식을 바탕으로 하며, 실무 엔지니어와 시스템 아키텍트를 위한 구체적인 구현 전략을 포함한다.

2. 아키텍처 설계 원칙 및 하드웨어 가속 메커니즘

DeepStream SDK의 설계 철학은 ‘제로 카피(Zero-Copy)’ 메모리 관리와 ’이기종 컴퓨팅(Heterogeneous Computing)’의 효율적 활용으로 요약된다. 이는 데이터가 파이프라인을 통과하는 동안 불필요한 시스템 메모리 복사를 제거하고, 각 처리 단계에 가장 적합한 하드웨어 리소스를 할당함으로써 전체 시스템의 처리량(Throughput)을 극대화하는 것을 목표로 한다.

2.1 GStreamer 기반의 확장형 파이프라인

DeepStream은 오픈 소스 멀티미디어 프레임워크인 GStreamer를 기반으로 구축되었다. GStreamer는 ’엘리먼트(Element)’라고 불리는 기능 블록들을 연결하여 데이터의 흐름을 제어하는 파이프라인 구조를 가진다. DeepStream은 NVIDIA 하드웨어에 최적화된 독자적인 GStreamer 플러그인들을 제공함으로써, 개발자가 복잡한 CUDA 프로그래밍이나 저수준 하드웨어 제어 코드를 작성하지 않고도 고성능 애플리케이션을 구축할 수 있도록 추상화 계층을 제공한다.3

이러한 아키텍처는 마치 레고 블록을 조립하는 것과 유사한 유연성을 제공한다. 비디오 소스 수집(Source), 디코딩(Decode), 전처리(Pre-process), 추론(Inference), 추적(Tracker), 시각화(OSD), 메시지 전송(Sink) 등 각 기능이 모듈화된 플러그인으로 제공되며, 개발자는 이를 그래프 형태로 연결하여 원하는 로직을 구현한다. GStreamer의 풍부한 에코시스템을 활용할 수 있다는 점은 DeepStream의 강력한 장점 중 하나이다.4

2.2 하드웨어 가속 엔진의 역할 분담

DeepStream의 고성능은 단순히 고성능 GPU에 의존하는 것이 아니라, SoC(System on Chip) 또는 GPU 카드의 다양한 하드웨어 블록을 효율적으로 분산 활용하는 데서 기인한다.

특히 Jetson 플랫폼에서는 **VIC(Video Image Compositor)**의 활용이 매우 중요하다. 이미지 전처리 작업(Scaling, Conversion)을 GPU가 아닌 VIC에 할당함으로써, GPU는 더 복잡한 AI 추론 작업에 집중할 수 있게 된다. config_infer 설정 파일에서 scaling-compute-hw=1 (GPU) 대신 VIC를 사용하도록 설정하거나, nvvideoconvert 플러그인 속성을 통해 이를 제어할 수 있다.6

2.3 제로 카피(Zero-Copy)와 NvBufSurface 메모리 관리

DeepStream 성능의 핵심은 NvBufSurface 구조체를 통한 독창적인 메모리 관리 기법이다. 일반적인 GStreamer 파이프라인이 플러그인 간 데이터 이동 시 CPU 메모리(Host)를 거치며 복사를 반복하는 반면, DeepStream은 데이터가 디코더(NVDEC)에서 생성된 순간부터 GPU 메모리 또는 하드웨어 버퍼에 상주하도록 설계되었다.8

• NvBufSurface 구조: 이 구조체는 단일 프레임뿐만 아니라, 배치(Batch)로 묶인 여러 프레임의 포인터와 메타데이터를 포함한다. 파이프라인 내의 플러그인들은 실제 픽셀 데이터를 복사하는 대신, 이 구조체의 포인터만을 전달받아 연산을 수행한다.
• 통합 메모리(Unified Memory): Jetson과 같은 임베디드 플랫폼에서는 CPU와 GPU가 물리적 메모리를 공유한다. DeepStream은 nvbuf-memory-type 설정을 통해 이러한 아키텍처적 특성을 활용한다. 예를 들어, nvbuf-memory-type=3 (Unified)이나 0 (Default) 설정을 통해 캐시 일관성(Cache Coherency)을 유지하며 데이터를 처리한다.10
• 상호운용성(Interop): OpenCV나 CUDA 커널을 직접 사용하여 커스텀 처리를 수행해야 할 경우, NvBufSurfaceMapEglImage나 cuGraphicsEGLRegisterImage와 같은 API를 사용하여 데이터를 CPU로 복사하지 않고도 CUDA 커널에서 직접 접근(Direct Access)할 수 있다.8 이는 고해상도 영상 처리 시 대역폭 병목을 획기적으로 줄여주는 기술이다.

3. 핵심 플러그인 심층 분석

DeepStream 애플리케이션의 성능과 기능은 파이프라인을 구성하는 각 플러그인의 속성 설정에 따라 결정된다. 주요 플러그인들의 기술적 세부 사항을 분석한다.

3.1 Gst-nvstreammux: 배치 처리와 데이터 동기화

Gst-nvstreammux는 DeepStream 파이프라인의 시작점이자 성능 최적화의 첫 관문이다. 다수의 입력 소스(카메라, 파일)로부터 들어오는 프레임을 수집하여 하나의 ’배치(Batch)’로 묶어 하위 플러그인으로 전달한다.11

• 배치 처리(Batching)의 중요성: GPU는 대규모 병렬 연산 장치이므로, 한 번에 하나의 이미지를 처리하는 것보다 여러 이미지를 묶어서 처리할 때 처리량(Throughput)이 비약적으로 상승한다. batch-size 속성은 이러한 묶음의 크기를 결정하며, 하드웨어 성능과 지연 시간 요구사항 사이의 균형을 맞추는 핵심 파라미터이다.
• 동기화 및 타임아웃: nvstreammux는 라운드 로빈(Round-Robin) 방식으로 각 소스에서 프레임을 가져온다. 만약 특정 소스의 프레임이 늦게 도착하여 배치가 완성되지 않을 경우, batched-pushed-timeout (마이크로초 단위) 설정에 따라 대기하다가 불완전한 배치라도 전송한다. 이는 실시간 시스템에서 지연 시간을 제한하는 중요한 안전 장치이다.11
• 스케일링 전략: 입력 소스의 해상도가 제각각일 경우, nvstreammux는 width와 height 속성에 지정된 해상도로 모든 프레임을 스케일링한다. 이때 enable-padding 속성을 true로 설정하면 원본의 종횡비(Aspect Ratio)를 유지하면서 남는 공간을 검은색(Black bar)으로 채우는 레터박스(Letterbox) 방식을 사용한다. 이는 AI 모델의 정확도 유지에 필수적이다.11

3.2 Gst-nvinfer: TensorRT 기반 고성능 추론

Gst-nvinfer는 NVIDIA의 고성능 추론 엔진인 TensorRT를 래핑(Wrapping)한 플러그인으로, 실제 AI 연산을 수행한다.12

• Primary vs Secondary Mode:
• Primary GIE: 전체 프레임에 대해 객체 탐지(Detection)를 수행한다. 예를 들어, 도로 영상에서 차량과 보행자를 찾아낸다.
• Secondary GIE: Primary GIE가 찾아낸 각 객체(RoI, Region of Interest)에 대해 2차적인 분류(Classification)를 수행한다. 차량의 제조사, 색상, 차종 등을 식별하는 데 사용된다.3 DeepStream은 Primary GIE의 결과 메타데이터를 바탕으로 필요한 영역만 크롭(Crop)하여 Secondary GIE에 전달하므로 효율적이다.
• 동적 리사이징 및 전처리: 모델이 요구하는 입력 크기에 맞춰 Gst-nvinfer 내부에서 전처리가 수행된다. net-scale-factor(정규화 계수), offsets(평균값 뺄셈), model-color-format(RGB/BGR) 등의 파라미터를 통해 입력 픽셀 값을 조정한다.
• 클러스터링(Clustering): 탐지 모델은 동일한 객체에 대해 여러 개의 바운딩 박스를 출력할 수 있다. cluster-mode 속성을 통해 NMS(Non-Maximum Suppression), DBSCAN, GroupRectangles 등의 알고리즘을 선택하여 중복된 박스를 제거하고 최적의 결과를 도출한다.15

3.3 Gst-nvtracker: 다중 객체 추적 및 ID 관리

객체 탐지 모델은 매 프레임 독립적으로 동작하므로 시간적 연속성을 알지 못한다. Gst-nvtracker는 탐지된 객체에 고유 ID를 부여하고 이동 경로를 추적한다.16 DeepStream은 다양한 추적 알고리즘을 지원하며, 사용 환경에 따라 적절한 선택이 필요하다.

최신 DeepStream 8.0에서는 MV3DT (Multi-View 3D Tracking) 기능이 강화되어, 단일 카메라 시점을 넘어 여러 카메라의 정보를 통합하여 3차원 공간에서 객체를 추적하는 것이 가능해졌다. 이는 대형 쇼핑몰이나 공항과 같은 광역 감시 환경에서 필수적인 기능이다.18

3.4 Gst-nvmsgbroker & Gst-nvmsgconv: IoT 통신 인터페이스

엣지 디바이스에서 분석된 결과(메타데이터)를 클라우드나 중앙 서버로 전송하기 위해 nvmsgconv와 nvmsgbroker가 사용된다.

• Gst-nvmsgconv: 내부 메타데이터(NvDsBatchMeta)를 전송 가능한 텍스트 포맷(JSON 등)으로 변환한다. DeepStream은 기본적으로 전체 객체 정보, 센서 정보 등을 포함하는 스키마를 제공하며, 사용자가 정의한 커스텀 페이로드 생성도 가능하다.19
• Gst-nvmsgbroker: 실제 프로토콜 어댑터 역할을 수행한다. Kafka, MQTT, AMQP(RabbitMQ), Azure IoT, Redis 등의 다양한 프로토콜 라이브러리를 동적으로 로드하여 통신을 수행한다.19
• 프로토콜 지원: 기본 제공되는 어댑터 외에도 nvds_msgapi 인터페이스를 통해 사용자가 직접 커스텀 프로토콜 어댑터를 개발하여 연동할 수 있다. 예를 들어, 기본 지원하지 않는 특정 버전의 MQTT 브로커나 독자적인 TCP 프로토콜을 구현할 수 있다.21

4. DeepStream 8.0: 혁신적 기능과 미래 기술

2024-2025년 기준 최신 버전인 DeepStream 8.0은 생성형 AI 시대에 대응하기 위한 획기적인 기능들을 탑재했다. 이는 단순한 성능 향상을 넘어 개발 및 배포의 패러다임을 변화시키고 있다.

4.1 CUDA Green Contexts: 에너지 효율과 자원 격리의 혁명

DeepStream 8.0의 가장 큰 기술적 도약 중 하나는 CUDA Green Contexts의 도입이다.22 기존의 CUDA 컨텍스트나 MPS(Multi-Process Service)가 프로세스 간 자원 공유에 초점을 맞췄다면, Green Contexts는 단일 프로세스 내에서도 GPU의 핵심 연산 자원인 스트리밍 멀티프로세서(SM)를 공간적으로 분할(Spatial Partitioning)할 수 있는 기능을 제공한다.

• 기술적 메커니즘: 개발자는 특정 스트림이나 모델 추론 작업에 대해 GPU SM의 일정 비율(예: 30%)만을 할당하는 ’Green Context’를 생성할 수 있다. 이렇게 생성된 컨텍스트 내에서 실행되는 커널(Kernel)은 할당된 SM 자원만을 사용하도록 하드웨어적으로 격리된다.23
• 활용 전략:
• QoS 보장: 중요도가 높은 실시간 객체 탐지 작업에는 70%의 자원을, 중요도가 낮은 백그라운드 로그 처리 작업에는 10%의 자원을 할당하여 상호 간섭을 방지할 수 있다.
• 에너지 효율: 필요한 만큼의 자원만 활성화함으로써 전체적인 전력 소비를 최적화할 수 있다. 이는 배터리로 구동되는 로보틱스나 엣지 디바이스에서 결정적인 이점을 제공한다.22

4.2 Inference Builder: YAML 기반의 선언적 개발

DeepStream 8.0은 기존의 Graph Composer를 단계적으로 폐지하고, Inference Builder라는 새로운 도구를 전면에 내세웠다.18 Graph Composer가 노드 기반의 시각적 프로그래밍(Low-Code)을 지향했다면, Inference Builder는 설정 파일(Config-driven) 중심의 개발 방식을 채택했다.

• 개발 흐름의 변화: 개발자는 복잡한 C++ 코딩이나 그래프 연결 작업 없이, 단일 YAML 파일에 모델 경로, 입출력 포맷, 백엔드 엔진(Triton/TensorRT), 전처리/후처리 방식만 정의하면 된다.25
• 자동화된 파이프라인 생성: Inference Builder는 이 YAML 파일을 해석하여 최적화된 런타임 파이프라인을 자동으로 생성하고, 이를 독립형 애플리케이션이나 마이크로서비스 컨테이너(Docker) 형태로 패키징해준다.1 이는 “Infrastructure as Code“의 개념을 AI 파이프라인 개발에 도입한 것으로 볼 수 있다.
• Graph Composer EOL: Graph Composer는 5.1.0 버전을 끝으로 DeepStream 8.0에서 마지막으로 지원되며 이후 단종된다. 기존 사용자는 Inference Builder로의 마이그레이션을 준비해야 한다.18

4.3 차세대 추적 및 모델 지원: MaskTracker와 SAM2

객체 추적 기술은 단순한 박스(BBox) 추적에서 픽셀 단위의 세그멘테이션 추적으로 진화했다. DeepStream 8.0은 MaskTracker를 도입하여 이를 지원한다.18

• MaskTracker: SAM2(Segment Anything Model 2)와 같은 파운데이션 모델을 기반으로, 객체의 정확한 형상(Mask)을 실시간으로 생성하고 추적한다. 이는 겹쳐진 물체를 정확히 분리하거나, 불규칙한 형태의 객체를 정밀하게 분석해야 하는 의료 영상, 정밀 제조 분야에서 강력한 성능을 발휘한다.27
• 블랙웰(Blackwell) 아키텍처 지원: 차세대 데이터센터 GPU인 Blackwell 및 엣지용 Jetson Thor 플랫폼에 대한 지원이 추가되어, 향후 하드웨어 업그레이드 경로를 확보했다.3

5. 모델 통합 전략: TAO, TensorRT, Triton

DeepStream에서 AI 모델을 구동하는 방식은 크게 세 가지 축으로 나뉜다. 각 방식은 개발 편의성과 성능, 유연성 측면에서 장단점이 뚜렷하다.

5.1 TAO Toolkit 워크플로우

NVIDIA TAO(Train, Adapt, and Optimize) Toolkit은 전이 학습(Transfer Learning)을 통해 사전 학습된 모델을 사용자 데이터에 맞춰 빠르게 재학습시키는 도구이다.28

• ETLT 모델 배포: TAO에서 학습된 모델은 .etlt (Encrypted TAO Transfer Learning Toolkit) 포맷으로 내보내진다. DeepStream 설정 파일([property] 섹션)에서 tlt-encoded-model 경로와 tlt-model-key를 지정하면, 런타임 시 자동으로 복호화되어 TensorRT 엔진으로 변환된다.13
• 엔진 파일 변환: 런타임 변환은 초기 구동 시간을 지연시킬 수 있다. 따라서 배포 전 tao-deploy (구 tao-converter) 도구를 사용하여 타겟 하드웨어에 맞는 .engine 파일을 미리 생성하는 것이 권장된다.29 DeepStream 설정에서는 model-engine-file 속성으로 생성된 엔진을 지정한다. x86 환경에서는 tao-converter가 사용 중단(Deprecated)되었으므로 tao-deploy 컨테이너를 사용해야 한다.29

5.2 Native TensorRT vs Triton Inference Server

DeepStream은 Gst-nvinfer(Native TensorRT)와 Gst-nvinferserver(Triton Client) 두 가지 추론 플러그인을 제공한다.

• Triton CAPI vs gRPC: 엣지 디바이스와 같이 DeepStream과 추론 서버가 동일한 장비에 있을 때는 CAPI(Shared Library) 모드를 사용하여 데이터 복사 없는(Zero-Copy) 통신을 구현해야 성능 저하를 막을 수 있다.32 반면, 추론 서버를 별도의 강력한 서버로 분리할 때는 gRPC 모드를 사용한다.31

6. 개발 환경 및 언어 지원

6.1 C/C++ 및 Python (pyds) 바인딩

DeepStream은 전통적으로 성능에 민감한 C/C++ 개발자를 타겟팅했으나, 최근 Python 지원이 대폭 강화되었다.

• Python 바인딩 (pyds): Gst-Python을 기반으로 DeepStream의 메타데이터 구조체(NvDsBatchMeta 등)에 접근할 수 있는 Python 바인딩을 제공한다.33
• 성능 고려사항: Python 애플리케이션이라 하더라도 실제 영상 처리는 하부의 C/C++ 플러그인에서 수행되므로 성능 저하는 미미하다. 다만, Python 레벨에서 모든 프레임의 픽셀 데이터에 접근하여 루프를 돌리는(Probing) 방식은 병목을 유발하므로 피해야 한다. 데이터 처리가 필요할 경우, C++로 커스텀 플러그인을 작성하거나 NvBufSurface API를 활용하여 GPU 상에서 처리해야 한다.

6.2 컨테이너 및 오케스트레이션

NVIDIA NGC(NVIDIA GPU Cloud)는 다양한 용도의 DeepStream 도커 이미지를 제공한다.

• devel: 헤더 파일과 컴파일러가 포함된 개발용 이미지.
• runtime: 배포를 위한 경량화 이미지.
• triton: Triton Inference Server 라이브러리가 포함된 이미지.
• Kubernetes 배포: 대규모 엣지 배포를 위해 Helm 차트와 Kubernetes 지원이 기본 포함되어 있다. 이를 통해 수천 대의 카메라에 연결된 DeepStream 파이프라인을 중앙에서 업데이트하고 모니터링할 수 있다.3

7. 산업별 적용 사례 및 성공 전략

7.1 리테일: Lowe’s의 혁신

Lowe’s는 DeepStream을 활용하여 매장 내 디지털 트윈(Digital Twin)을 구축하고 실시간 고객 분석을 수행한다. 매장 내 수백 대의 카메라 영상을 분석하여 고객의 동선 히트맵을 생성하고, 선반의 재고 부족(Out-of-Stock)을 실시간으로 감지한다.34 특히 MV3DT 기술은 복잡한 매장 구조 속에서도 고객의 쇼핑 여정을 끊김 없이 추적하여 마케팅 인사이트를 제공한다.

7.2 스마트 시티 및 교통 관제

도심의 교차로에서 차량의 흐름을 분석하고, 불법 주정차나 교통 위반을 실시간으로 감지하는 시스템에 활용된다. DeepStream의 nvmsgbroker는 분석된 위반 차량의 메타데이터와 스냅샷만을 관제 센터로 전송하여 대역폭 비용을 절감한다.35

7.3 산업 및 제조 (AOI)

생산 라인의 고속 컨베이어 벨트 위를 지나가는 제품의 결함을 딥러닝으로 검출한다. 엣지 디바이스에서의 저지연 처리 능력이 필수적이며, DeepStream은 수 밀리초(ms) 단위의 반응 속도로 불량품을 즉시 분류(Sorting) 신호를 보낸다.36

8. 결론 및 제언

NVIDIA DeepStream SDK는 단순한 개발 툴킷을 넘어, AI 시대를 위한 비디오 데이터 처리의 표준 운영체제(OS)와 같은 역할을 수행하고 있다. GStreamer의 유연성과 NVIDIA 하드웨어의 강력한 성능을 결합함으로써, 개발자는 저수준의 최적화 문제에서 해방되어 비즈니스 로직 구현에 집중할 수 있게 되었다.

DeepStream 8.0의 출시는 이러한 경향을 더욱 가속화한다. CUDA Green Contexts를 통한 정교한 자원 관리, Inference Builder를 통한 개발 생산성 혁신, 그리고 MaskTracker와 같은 고도화된 분석 기능은 DeepStream이 단순한 객체 탐지를 넘어 ‘이해하고 추론하는’ 시스템으로 진화하고 있음을 보여준다.

기업과 개발자는 DeepStream SDK를 도입함으로써 다음과 같은 전략적 이점을 확보해야 한다.

1. 엣지-투-클라우드 일관성: 개발된 파이프라인을 수정 없이 엣지 디바이스(Jetson)와 서버(dGPU)에 유연하게 배포한다.
2. 하이브리드 추론: TensorRT의 속도와 Triton의 유연성을 결합하여 최적의 모델 운영 환경을 구축한다.
3. 미래 준비: Green Contexts와 같은 최신 기능을 선제적으로 도입하여 에너지 효율적이고 지속 가능한 AI 시스템을 설계한다.

결론적으로, 데이터가 곧 자산인 시대에 DeepStream은 그 자산을 실질적인 가치로 변환하는 가장 강력하고 효율적인 엔진이다.

9. 참고 자료

1. NVIDIA DeepStream SDK, https://developer.nvidia.com/deepstream-sdk
2. Accelerate Video Analytics Development with DeepStream 2.0 | NVIDIA Technical Blog, https://developer.nvidia.com/blog/accelerate-video-analytics-deepstream-2/
3. Welcome to the DeepStream Documentation, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Overview.html
4. Building a simple Nvidia Deepstream Pipeline with HLS streaming - Medium, https://medium.com/@utkarsh.prt.w/building-a-simple-nvidia-deepstream-pipeline-with-hls-streaming-capability-be7b26b3eeab
5. Running deepstream object detection with DLA on jetson - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/running-deepstream-object-detection-with-dla-on-jetson/302669
6. VIC in Jetson Nano - DeepStream SDK - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/vic-in-jetson-nano/258956
7. My deepstream program uses VIC, how can I set it not to use VIC, https://forums.developer.nvidia.com/t/my-deepstream-program-uses-vic-how-can-i-set-it-not-to-use-vic/305882
8. DeepStream zero-copy + run cuda kernel directly (Jetson Orin Nx), https://forums.developer.nvidia.com/t/deepstream-zero-copy-run-cuda-kernel-directly-jetson-orin-nx/338908
9. How to avoid double copy of image from EGL stream, when creating batched nvbuf surface - DeepStream SDK - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/how-to-avoid-double-copy-of-image-from-egl-stream-when-creating-batched-nvbuf-surface/284834
10. Optimising Performance in Nvidia Deepstream Pipelines | by Utkarshkushwaha - Medium, https://medium.com/@utkarsh.prt.w/handling-memory-leaks-and-bottlenecks-in-nvidia-deepstream-pipeline-80e0ad70c9a3
11. Gst-nvstreammux — DeepStream documentation - NVIDIA Docs Hub, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvstreammux.html
12. GStreamer Plugin Details | NVIDIA Docs, https://docs.nvidia.com/metropolis/deepstream/5.0/dev-guide/DeepStream%20Plugins%20Development%20Guide/deepstream_plugin_details.html
13. Gst-nvinfer — DeepStream documentation, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvinfer.html
14. Deploying to DeepStream for Classification TF1/TF2/PyTorch — Tao Toolkit, https://docs.nvidia.com/tao/tao-toolkit/6.25.07/text/ds_tao/classification_ds.html
15. GStreamer Plugin Overview — DeepStream documentation - NVIDIA Docs, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_Intro.html
16. Gst-nvtracker — DeepStream documentation, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvtracker.html
17. Detection an object using DeepStream | by Kushal Bellani - Medium, https://medium.com/@cs_kushalbellani18/program-2-792b332909a2
18. DeepStream SDK - Get Started - NVIDIA Developer, https://developer.nvidia.com/deepstream-getting-started
19. Gst-nvmsgbroker — DeepStream documentation, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvmsgbroker.html
20. Message brokers in deepstream - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/message-brokers-in-deepstream/156115
21. How to use msgbroker plugin to send payload messages to mosquitto - DeepStream SDK, https://forums.developer.nvidia.com/t/how-to-use-msgbroker-plugin-to-send-payload-messages-to-mosquitto/167268
22. DeepStream SDK 8.0 for NVIDIA dGPU/X86 and Jetson, https://docs.nvidia.com/metropolis/deepstream/8.0/text/DS_Release_notes.html
23. 4.6. Green Contexts — CUDA Programming Guide - NVIDIA Documentation, https://docs.nvidia.com/cuda/cuda-programming-guide/04-special-topics/green-contexts.html
24. 6.35. Green Contexts - CUDA Driver API :: CUDA Toolkit Documentation, https://docs.nvidia.com/cuda/cuda-driver-api/group__CUDA__GREEN__CONTEXTS.html
25. Inference Builder Overview — DeepStream documentation - NVIDIA Docs, https://docs.nvidia.com/metropolis/deepstream/8.0/text/DS_Inference_Builder.html
26. NVIDIA-AI-IOT/inference_builder: A tool for generating python inference pipeline - GitHub, https://github.com/NVIDIA-AI-IOT/inference_builder?ncid=so-yout-238844
27. NVIDIA-AI-IOT/deepstream_reference_apps: Samples for TensorRT/Deepstream for Tesla & Jetson - GitHub, https://github.com/NVIDIA-AI-IOT/deepstream_reference_apps
28. Deepstream Overview - NVIDIA Docs, https://docs.nvidia.com/launchpad/ai/tao-ds-l4/latest/tao-ds-l4-deepstream-overview.html
30. AI Inference in Data Engineering: Comparing TensorRT, Triton, and Triton with TensorRT, https://procogia.com/ai-inference-in-data-engineering-comparing-tensorrt-triton-and-triton-with-tensorrt/
31. Gst-nvinferserver — DeepStream documentation - NVIDIA Docs, https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvinferserver.html
32. Enabling Zero-Copy Between DeepStream and Triton on Jetson Orin - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/enabling-zero-copy-between-deepstream-and-triton-on-jetson-orin/343559
33. NVIDIA-AI-IOT/deepstream_python_apps: DeepStream SDK Python bindings and sample applications - GitHub, https://github.com/NVIDIA-AI-IOT/deepstream_python_apps
34. Lowe’s Enhances Customer Experience With Gen AI and Digital Twins - NVIDIA, https://www.nvidia.com/en-us/customer-stories/lowes/
35. NVIDIA DeepStream 101: The Ultimate Guide To AI Excellence - Clarion Analytics, https://clarion.ai/nvidia-deepstream-101-the-ultimate-guide/
36. Building Intelligent Video Analytics Apps Using NVIDIA DeepStream 5.0 (Updated for GA), https://developer.nvidia.com/blog/building-iva-apps-using-deepstream-5-0-updated-for-ga/